SplunkさんのAWSデータ連携に関する特別ワークショップに参加した！

先月クラスメソッドがSplunkのパートナーとなったということで、10/3にSplunkパートナー向け勉強会のためにSplunkさんオフィスにやってきました！
本ブログでは、勉強会のダイジェスト版としてお伝えしていこうと思います。
ハンズオンでやった内容については、個別のブログで詳しくお伝えできたらと思っていますので、こちらもお楽しみに！

オフィスの入口では、Splunkのポニーのマスコットである 『Butter Cup』 が出迎えてくれます。

勉強会の内容はAWSデータのSplunk取り込みに関するワークショップです。

講師は、AWSとSplunk連携のテックスペシャリストで、APACを担当されている、SplunkのTrav Kaneさんです。
通訳の方もいらっしゃいます。

また、TravさんはT-REXというニックネームもあるようです。w

AWSでは、AWSの持つ多数のサービスを組み合わせてシステムを組むことができます。
データ取り込みに関しても、システムや要件ごとにいくつかの異なるアーキテクチャをとることができます。
このワークショップトレーニングでは、座学で取り込みパターンごとのメリットデメリットを知り、それぞれのパターンの実装を実際に手を動かしてやってみるという内容になっています。

ワークショップでは、AWSのコンソールとSplunkのコンソールを順番に操作していきます。
この勉強会はAWSとSplunkのタイアップでの企画になっており、AWS環境は、AWS Workshop Studioで、Splunk環境はsplunk show（Splunkさんが勉強会などで受講者に払い出したりしている環境）で操作していくかたちになります。

AWSコンソールでは、ログの連携のためのリソースの作成、リソース同士の権限の設定になります（一部IAMの設定などはあらかじめ実施されているものもありました）。
Splunkコンソールでは、データインプットの設定になります。

このワークショップのタイトルは 『Becoming an AWS Getting Data In MacGayver』 という名前になっています。 『MacGayver』 という８０年代のアメリカでヒットした人気TVドラマで、天才級の知力とエンジニアリングで次々と難題を解決していく様をワークショップで実現していこうという意味が込められているそうです。w

https://ja.wikipedia.org/wiki/MACGYVER/マクガイバー

それではいよいよワークショップのスタートです！

ログ取得の対象となるメジャーなAWSサービスとログ取得のためのAWSサービスの概要のおさらいから始まりました。

• AWS CloudTrail
• Amazon SQS
• Amazon SNS
• VPCフローログ
• AWS CloudWatch
• AWS S3
• AWS Config

次に *AWSサービス全体 からSplunkにログを連携する際の関連サービスやパスを記載したアーキテクチャになります。
(*実際には他にももっと多くのAWSサービスがあります。サービス全体と書いていますが、あくまで主要なサービスとなります。)

取り込み部分に焦点を当ててみると、主に３つの取り込み方法に分けられます。プル型で１種類、プッシュ型で２種類になります。
まずはこの3パターンを基本として、利用シーンやサービスに応じて考えていけばよいということが分かりました。

プル型とプッシュ型の違いについてのご説明もいただきました。
プル型は比較的データ量が少なくリアルタイム性の必要がないデータの場合、プッシュ型はデータ量が多くリアルタイム性の必要があるデータが適切かと思います。

コストではプル（低い）→プッシュ（高い）の傾向にあり、その他にも組織の戦略や、集中ロギングやコンプライアンスを含む個別のセキュリティポリシーを考慮してアーキテクチャを採用する必要があります。

ここまでで基本的な考え方について理解することができました。

ラボは全部で５つありました。
下記のリンクをクリックしてもらえれば、ハンズオンの内容のご紹介ブログ をご覧いただけます。ぜひこちらもご参考ください。

1. Lab 1 - AWS Add-on (SQS Based-PULL型): EC2メタデータとAWSコンフィグのログを取得する
2. Lab 2 - HEC (EventBridge PUSH型): Amazon GuardDutyのログを取得する
3. Lab 3 - HEC (Amazon Data Firehose PUSH型): AWS CloudTrailのログを取得する
4. Lab 4 - HEC (Amazon Lambda PUSH型): VPC Flowログを取得する
5. Lab 5 - Security Dashboards: AWSのデータを可視化・分析するSplunkのプレビルドAppを触って確認してみる

ラボの後には、アドバンスな番外編として、AWS Control Tower環境でのログ取り込みの例をご紹介いただきました。

さらに、Private Linkを使って、組織のAWS環境からSplunk Cloudに直接データを送信する例、Amazon Connectのデータ取り込みと分析例、Amazon Security Lakeとの連携例としてSplunkの機能 Federated Analytics(プライベートプレビュー)、Splunkに取り込むことなくS3のデータをSplunkから検索をかける Federated Search for Amazon S3 についてもご紹介いただきました。

これは、本当に盛りだくさんです！！
こちらも今後試してブログ掲載させていただきたいと思っています。

まとめ

勉強会を通じて、以下のことを学びました。

• SplunkへのAWSデータ取り込みパターン
• 各データ取り込みパターンごとのメリット・デメリット
• SplunkおよびAWSのデータ取り込みの設定方法
• 各データ送信アーキテクチャの概算コスト

本ワークショップはパートナー限定での勉強会でしたが、今回学んだことやハンズオンの内容をさらに詳しくわたしたちから皆様にブログでお届けしたいと考えております。

最後に

勉強会の関係者および参加者のみなさんで集合写真を撮っていただきました！

またこの場を通じて、ワークショップの講師であるTrav Kane（T-REX）さん、開催いただいたSplunkおよびAWSの関係者の皆様に御礼申し上げます。
次回も活用例を中心にした回や他の続編があるそうです。楽しみにしております！！